
 
 
 
 
 
 
 
 
 
 Die skrywers: (1) Vishaal Udandarao, Tubingen AI Center, Universiteit van Tubingen, Universiteit van Cambridge, en gelyke bydrae; (2) Ameya Prabhu, Tubingen AI Sentrum, Universiteit van Tubingen, Universiteit van Oxford, en gelyke bydrae; (3) Adhiraj Ghosh, Tubingen AI Sentrum, Universiteit van Tubingen; (4) Yash Sharma, Tubingen AI Sentrum, Universiteit van Tubingen; Philip H.S. Torr, Universiteit van Oxford; (6) Adel Bibi, Universiteit van Oxford; (7) Samuel Albanie, Universiteit van Cambridge en gelyk advies, bevel beslis deur 'n munt flip; (8) Matthias Bethge, Tubingen AI Sentrum, Universiteit van Tubingen en gelyk adviseer, bevel beslis deur 'n munt flip. Authors: (1) Vishaal Udandarao, Tubingen AI Center, Universiteit van Tubingen, Universiteit van Cambridge, en gelyke bydrae; (2) Ameya Prabhu, Tubingen AI Sentrum, Universiteit van Tubingen, Universiteit van Oxford, en gelyke bydrae; (3) Adhiraj Ghosh, Tubingen AI Sentrum, Universiteit van Tubingen; (4) Yash Sharma, Tubingen AI Sentrum, Universiteit van Tubingen; Philip H.S. Torr, Universiteit van Oxford; (6) Adel Bibi, Universiteit van Oxford; (7) Samuel Albanie, Universiteit van Cambridge en gelyk advies, bevel beslis deur 'n munt flip; (8) Matthias Bethge, Tubingen AI Sentrum, Universiteit van Tubingen en gelyk adviseer, bevel beslis deur 'n munt flip. Tabel van links Abstrakte en 1. inleiding 2 Konsepte in vooropleiding van data en kwantificering van frekwensie 3 Vergelyking van vooropleiding frekwensie & "Zero-Shot" prestasie en 3.1 Eksperimentele instelling 3.2 Resultaat: Vooropleiding frekwensie is voorspelend van "Zero-Shot" prestasie 4 Stres-testeer die konsep frekwensie-prestasie skaal trend en 4.1 beheer vir soortgelyke monsters in vooropleiding en downstream data 4.2 Test generalisering tot suiwer sintetiese konsep en data verspreiding 5 Aanvullende insigte uit pre-training konsep frekwensie 6 Testeer die staart: Laat dit wag! 7 Gerelateerde werk 8 gevolgtrekkings en oop probleme, erkennings en verwysings Part I Appendix A. Konsep frekwensie is voorspelende van prestasie oor prompting strategieë B. Konsepfrequensie is 'n voorspelling van prestasie deur middel van retrieval metries C. Konsep frekwensie is voorspelbaar van prestasie vir T2I modelle D. Konsep frekwensie is die voorspelling van prestasie oor konsepte slegs van beeld- en teksdomeine E. Eksperimentele besonderhede Waarom en hoe gebruik ons RAM++? G. Details oor die resultate van die Misalignment Degree H. T2I Modelle: Beoordeling I. Klassifikasie resultate: Laat dit wag! abstrakte Web-gekrawelde vooropleiding datasets onderlig die indrukwekkende "zero-shot" evalueringsprestasie van multimodale modelle, soos CLIP vir klassifikasie / herstel en Stable-Diffusion vir beeldgenerasie. is vir sulke multimodale modelle, aangesien dit nie bekend is in watter mate hul vooropleidingsdatasets die downstream konsepte omvat wat gedurende die "zero-shot" evaluering gerig is nie. Generaaliseer Hoe word die prestasie van multimodale modelle op downstream konsepte beïnvloed deur die frekwensie van hierdie konsepte in hul vooropleidingsdatasets? Ons ondersoek hierdie vraag omvattende 34 modelle en vyf standaard vooropleidingsdatasette (CC-3M, CC-12M, YFCC-15M, LAION-400M, LAION-Aesthetics), wat meer as 300GB data-artefakte genereer. Ons vind konsekwent dat, ver van die vertoon van "nul-skot" generalisering, multimodale modelle eksponensieel meer data benodig om lineêre verbeterings in downstream "nul-skot" prestasie te bereik, na 'n monster ineffektiewe log-lineêre skaaltrend. Hierdie tendens voortduur selfs wanneer monster-vlakgelykheid tussen vooropleiding en downstream datasets [79] beheer word, en op suiwer sintetiese data verspreidings toets [51]. Verder, benchmarking op modelle Gesamentlik, ons studie onthul 'n eksponensiële behoefte aan opleiding data wat impliseer dat die sleutel tot "nul-skot" generalisering vermoëns onder groot skaal opleiding paradigmas bly om te vind. Laat dit wag! 1 Inleiding Multimodale modelle soos CLIP [91] en Stable Diffusion [96] het prestasie op downstream take revolusioneer—CLIP is nou die de-facto standaard vir “zero-shot” beeldherkenning [133, 72, 126, 48, 132] en beeldtekstherkenning [46, 64, 24, 117, 129], terwyl Stable Diffusion nou die de-facto standaard is vir “zero-shot” teks-tot-beeld (T2I) generasie [93, 17, 96, 41]. Is huidige multimodale modelle regtig in staat om "nul-skot" generalisering te maak? Om dit aan te spreek, het ons 'n vergelykende analise uitgevoer wat twee hooffaktore betrek: (1) die prestasie van modelle oor verskillende downstream take en (2) die frekwensie van toetskonsepte binne hul vooropleiding datasets. Ons het 'n uitgebreide lys van 4,029 konsepte[1] van 27 downstream take wat klassifikasie, opname en beeldgenerasie omvat, geëvalueer die prestasie teen hierdie konsepte. Ons analise het vyf grootskale vooropleiding datasets met verskillende skaal, data curation metodes en bronne (CC-3M [107], CC-12M [27], YFCC-15M [113], LAION-Aesthetics [103], LAION-400M [102]), en die prestasie van 10 CLIP modelle en 24 TI modelle, wat verskillende   Ons vind dat hierdie log-lineêre tendens robuust is om te beheer vir gekorreleerde faktore (soortgelyk monsters in vooropleiding en toets data [79]) en toets oor verskillende konsep verspreidings saam met monsters wat heeltemal sinteties gegenereer word [51]. modelprestasie skaal lineair as die konsep frekwensie in vooropleiding data groei eksponensieel Ek is, modelprestasie skaal lineair as die konsep frekwensie in vooropleiding data groei eksponensieel Ons bevindinge dui daarop dat die indrukwekkende empiriese prestasie van multimodale modelle soos CLIP en Stable Diffusion grootliks toegeskryf kan word aan die teenwoordigheid van toetskonsepte binne hul groot vooropleiding datasets, dus hul gerapporteerde empiriese prestasie vorm nie 'n "nul-skot" generalisering nie. In ons analise dokumenteer ons ook die verspreiding van konsepte wat in vooropleidingsdata ontmoet word en vind dat: Oor al die vooropleidingsdatasets is die verspreiding van konsepte langsaam (sien Figuur 5 in Afdeling 5), wat daarop dui dat 'n groot gedeelte van konsepte skaars is. • Concept Distribution: Die verspreiding van konsepte oor verskillende vooropleidingsdatasette is sterk gekorreleer (sien Tabel 4 in Afdeling 5), wat dui daarop dat webcrawls verrassend soortgelyke konsepdistribusies oor verskillende vooropleidingsdatakurasiestrategieë lewer, wat eksplisiete herbalansingsinspannings vereis [11, 125]. • Concept Correlation across Pretraining Datasets: Konsepte verskyn dikwels in een modaliteit, maar nie die ander, wat impliseer beduidende verkeerde afstemming (sien Tabel 3 in Afdeling 5). Ons vrygestelde data-artefakte kan help om beeld-tekst afstemming pogings op skaal deur presies aan te dui op die voorbeelde waarin modaliteite verkeerde afstemming. Let daarop dat die log-lineêre tendens oor beide modaliteite is sterk vir hierdie verkeerde afstemming. • Image-Text Misalignment between Concepts in Pretraining Data: Om 'n eenvoudige benchmark vir veralgemeningsprestasie vir multimodale modelle te verskaf, wat die konsepfrequensie in die opleidingsset beheer, stel ons 'n nuwe lang-tape-toetsdataset bekend wat genoem word Huidige modelle wat op beide oop beskikbaar datasette (bv. LAION-2B [103], DataComp-1B [46]) en geslote bronne datasette (bv. OpenAI-WIT [91], WebLI [29]) opgelei word, het aansienlike dalings in prestasie, wat bewys bied dat ons waarnemings ook na geslote bronne datasette kan oorgedra word. “Laat dit wag!” Verskeie vorige werk [91, 46, 82, 42, 83, 74] het die rol van vooropleiding data in die invloed van prestasie ondersoek. Mayilvahanan et al. [79] het getoon dat die prestasie van CLIP gekorreleer is met die ooreenkoms tussen opleiding en toets datasets. In ander studies op spesifieke gebiede soos vraag-antwoorde [62] en numeriese redevaarding [94] in groot taalmodelle, hoë trein-toets stel ooreenkoms het nie ten volle rekening gehouden met waargenome prestasie vlakke [127]. Ons algehele analise van verskeie vooropleiding beeld-tekst datasets betekenisvol byvoeg tot hierdie lyn van werk, deur (1) te wys dat konsep frekwensie bepaal nul-skot prestasie en (2) die eksponensiële beho 
 
 Hierdie artikel is beskikbaar op archiv onder CC BY 4.0 DEED lisensie. Hierdie artikel is beskikbaar op archiv onder CC BY 4.0 DEED lisensie. beskikbaar in die archief [1] Klas kategorieë vir klassifikasie take, voorwerpe in die teks kopieë vir vind take, en voorwerpe in die teks kopieë vir genereer take, sien Afdeling 2 vir meer besonderhede oor hoe ons konsepte definieer.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Wat 300GB van AI-navorsing onthul oor die ware limiete van "Zero-Shot" intelligensie

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

The #decentralize-ai Writing Contest by ICP and HackerNoon: Results Announcement 🎉

The #bitcoin Writing Contest by Rootstock and HackerNoon: Final Round Results🎉

Startups of The Year: Meet the Business Industry

"What If ... I didn't Do It?"

The #decentralize-ai Writing Contest by ICP and HackerNoon: Results Announcement 🎉

The #bitcoin Writing Contest by Rootstock and HackerNoon: Final Round Results🎉

Startups of The Year: Meet the Business Industry

"What If ... I didn't Do It?"

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps